A machine learning (ML) system must learn not only to match the output of a target function on a training set, but also to generalize to novel situations in order to yield accurate predictions at deployment. In most practical applications, the user cannot exhaustively enumerate every possible input to the model; strong generalization performance is therefore crucial to the development of ML systems which are performant and reliable enough to be deployed in the real world. While generalization is well-understood theoretically in a number of hypothesis classes, the impressive generalization performance of deep neural networks has stymied theoreticians. In deep reinforcement learning (RL), our understanding of generalization is further complicated by the conflict between generalization and stability in widely-used RL algorithms. This thesis will provide insight into generalization by studying the learning dynamics of deep neural networks in both supervised and reinforcement learning tasks.

We study the learning dynamics of self-predictive learning for reinforcement learning, a family of algorithms that learn representations by minimizing the prediction error of their own future latent representations. Despite its recent empirical success, such algorithms have an apparent defect: trivial representations (such as constants) minimize the prediction error, yet it is obviously undesirable to converge to such solutions. Our central insight is that careful designs of the optimization dynamics are critical to learning meaningful representations. We identify that a faster paced optimization of the predictor and semi-gradient updates on the representation, are crucial to preventing the representation collapse. Then in an idealized setup, we show self-predictive learning dynamics carries out spectral decomposition on the state transition matrix, effectively capturing information of the transition dynamics. Building on the theoretical insights, we propose bidirectional self-predictive learning, a novel self-predictive algorithm that learns two representations simultaneously. We examine the robustness of our theoretical insights with a number of small-scale experiments and showcase the promise of the novel representation learning algorithm with large-scale experiments.

神经结构搜索（NAS）的成功受到过度计算要求的限制。虽然现代重量共享NAS方法，例如飞镖在单位数GPU天中可以完成搜索，但从共享权重中提取最终的最佳架构是众所周知的不可靠性。培训 - 速度估计（TSE），最近开发的普遍开发的普遍估计，以贝叶斯边缘似然解释的用来代替飞镖基于梯度优化的验证损失。这可以防止飞镖跳过连接崩溃，这显着提高了NASBench-201和原始飞镖搜索空间的性能。我们通过应用各种飞镖诊断来扩展这些结果，并显示不使用验证集产生的几种不寻常的行为。此外，我们的实验产生了在与操作选择相比，尽管通常在文献中受到有限的关注，但仍会产生对搜索性能的强烈影响的深度间隙和拓扑选择的具体示例。

The extragradient method has recently gained increasing attention, due to its convergence behavior on smooth games. In $n$-player differentiable games, the eigenvalues of the Jacobian of the vector field are distributed on the complex plane, exhibiting more convoluted dynamics compared to classical (i.e., single player) minimization. In this work, we take a polynomial-based analysis of the extragradient with momentum for optimizing games with \emph{cross-shaped} Jacobian spectrum on the complex plane. We show two results. First, based on the hyperparameter setup, the extragradient with momentum exhibits three different modes of convergence: when the eigenvalues are distributed $i)$ on the real line, $ii)$ both on the real line along with complex conjugates, and $iii)$ only as complex conjugates. Then, we focus on the case $ii)$, i.e., when the eigenvalues of the Jacobian have \emph{cross-shaped} structure, as observed in training generative adversarial networks. For this problem class, we derive the optimal hyperparameters of the momentum extragradient method, and show that it achieves an accelerated convergence rate.

在不失去先前学习的情况下学习新任务和技能（即灾难性遗忘）是人为和生物神经网络的计算挑战，但是人工系统努力与其生物学类似物达成平等。哺乳动物的大脑采用众多神经手术来支持睡眠期间的持续学习。这些是人工适应的成熟。在这里，我们研究了建模哺乳动物睡眠的三个不同组成部分如何影响人工神经网络中的持续学习：（1）在非比型眼运动（NREM）睡眠期间观察到的垂直记忆重播过程； （2）链接到REM睡眠的生成记忆重播过程； （3）已提出的突触降压过程，以调整信噪比和支持神经保养。在评估持续学习CIFAR-100图像分类基准上的性能时，我们发现将所有三个睡眠组件的包含在内。在以后的任务期间，训练和灾难性遗忘在训练过程中提高了最高准确性。尽管某些灾难性遗忘在网络培训过程中持续存在，但更高水平的突触缩减水平会导致更好地保留早期任务，并进一步促进随后培训期间早期任务准确性的恢复。一个关键的要点是，在考虑使用突触缩小范围的水平时，手头有一个权衡 - 更具侵略性的缩减更好地保护早期任务，但较少的缩减可以增强学习新任务的能力。中级水平可以在训练过程中与最高的总体精度达到平衡。总体而言，我们的结果都提供了有关如何适应睡眠组件以增强人工连续学习系统的洞察力，并突出了未来神经科学睡眠研究的领域，以进一步进一步进行此类系统。

眼睛跟踪器可以在超声（US）扫描期间为超声检查员提供视觉指导。对于经验丰富的运营商来说，这种指导可能是有价值的，可以提高他们在操纵探测器以实现所需飞机方面的扫描技能。在本文中，提出了一种多模式的指导方法（多模式形式的指导方法）来捕获现实世界中的视频信号，同步注视和统一框架内的探测运动之间的逐步依赖性。为了了解目光运动与探测运动之间的因果关系，我们的模型利用多任务学习共同学习了两个相关任务：预测经验丰富的超声仪将在常规产科扫描中执行的凝视运动和探测信号。这两个任务通过模态感知的空间图关联，以检测多模式输入之间的共发生并共享有用的跨模式信息。多模式形式的扫描路径不是确定性的扫描路径，可以通过估计实际扫描的概率分布来扫描多样性。通过三个典型的产科扫描检查进行的实验表明，新方法在探针运动指导和凝视运动预测方面都优于单任务学习。多模态偏见还提供了一个视觉引导信号，对于224x288 US图像，错误率小于10像素。

由于其学习能力和模仿复杂的数据分布的能力，深层生成机器学习模型（DGM）在整个设计社区的流行一直在越来越受欢迎。 DGM经过常规培训，以最大程度地减少分布与生成数据的分布与对其训练的数据集的分布之间的统计差异。尽管足以生成“现实”的假数据的任务，但该目标通常不足以设计综合任务。相反，设计问题通常要求遵守设计要求，例如性能目标和约束。在工程设计中推进DGM需要新的培训目标，以促进工程设计目标。在本文中，我们介绍了第一个同时优化性能，可行性，多样性和目标成就的深层生成模型。我们在八个评估指标上针对几个深层生成模型的拟议方法的性能进行了基准性能，这些模型着重于设计性能目标的可行性，多样性和满意度。在具有挑战性的多目标自行车框架设计问题上测试了方法，并具有偏斜的不同数据类型的多模式数据。在八个指标中的六个指标中，提出的框架被发现胜过所有深层生成模型。

This paper demonstrates how Automated Machine Learning (AutoML) methods can be used as effective surrogate models in engineering design problems. To do so, we consider the challenging problem of structurally-performant bicycle frame design and demonstrate across-the-board dominance by AutoML in regression and classification surrogate modeling tasks. We also introduce FRAMED -- a parametric dataset of 4500 bicycle frames based on bicycles designed by practitioners and enthusiasts worldwide. Accompanying these frame designs, we provide ten structural performance values such as weight, displacements under load, and safety factors computed using finite element simulations for all the bicycle frame designs. We formulate two challenging test problems: a performance-prediction regression problem and a feasibility-prediction classification problem. We then systematically search for optimal surrogate models using Bayesian hyperparameter tuning and neural architecture search. Finally, we show how a state-of-the-art AutoML method can be effective for both regression and classification problems. We demonstrate that the proposed AutoML models outperform the strongest gradient boosting and neural network surrogates identified through Bayesian optimization by an improved F1 score of 24\% for classification and reduced mean absolute error by 12.5\% for regression. Our work introduces a dataset for bicycle design practitioners, provides two benchmark problems for surrogate modeling researchers, and demonstrates the advantages of AutoML in machine learning tasks. The dataset and code are provided at \url{http://decode.mit.edu/projects/framed/}.

目的：（1）开发深度学习算法，以识别3D光学相干断层扫描（OCT）扫描中的视神经头（ONH）的主要组织结构; （2）利用这些信息在健康，光盘博森（奇数）和乳头膜ONHS之间鲁棒地区分。由于高颅内压（51只眼）和健康对照（100只眼睛），这是一种横截面对比研究，由于高颅内压（51只眼睛），以及健康的对照（100只眼）。使用OCT获得ONH的3D扫描，然后加工以改善深层组织可见性。首先，使用984 B-Scans（从130只眼睛）开发了深度学习算法，以识别：主要的神经/结缔组织和奇数区域。使用骰子系数（DC）评估我们的算法的性能。在第2步骤中，使用1500Ct卷设计了一个分类算法（随机林），以严格从其德鲁森和普拉拉马那肿胀得分（来自细分）来执行3级分类（1：奇数，2：Papilledema，3：健康） ）。为了评估性能，我们报告了每个类的接收器操作特征曲线（AUC）下的区域。我们的分割算法能够在存在时隔离神经和结缔组织和奇数区域。这是在测试集上的平均DC为0.93 $ 0.03的平均直流，相应于良好性能。分类是用高AUC的分类，即检测奇数，0.99美元0.01 0.01美元，用于检测Papilledema的0.99美元，0.98美元$ 0.02用于检测健康的ONH。我们的AI方法可以使用单个OCT扫描来准确地歧视奇数乳头。我们的分类表现非常出色，有需要在更大的人口中验证。我们的方法可能有可能建立10月作为神经眼科诊断成像的主干。

使用传感器的智能房屋中的监测行为可以对独立能力和居民长期健康的变化提供洞察。被动红外运动传感器（PIRS）是标准的，但可能无法准确跟踪移动的全部持续时间。它们还需要视线检测可以限制性能的运动，并确保它们必须对居民可见。频道状态信息（CSI）是一种低成本，无线电感测形式，可以监控运动，而且提供生成丰富数据的机会。我们开发了一种新颖的自我校准运动检测系统，它使用CSI数据收集和处理在股票覆盆子PI 4上。该系统利用CSI帧之间的相关性，我们使用我们的算法执行方差分析来准确测量整个时期居民的运动。我们展示了这种方法在若干现实世界环境中的有效性。进行的实验表明，对于不同位置的不同强度的运动示例，可以精确地检测活动开始和结束时间。